早在公元1206年，中外历史上著名的蒙古族首领、杰出的军事家成吉思汗（1162年—1227年），统一蒙古地区各部落建立蒙古汗国时，马头琴的前身就已在蒙古民族中广泛流传了，不过当时称为胡琴（胡尔）。元代初年，意大利旅行家马可·波罗（1254年—1324年）游历我国期间，曾于 1275年5月到达上都（今内蒙古多伦县西北），深得元世祖忽必烈宠信，他于至元十七年（公元1280年）回国时，还把胡琴带到了欧洲，对西洋拉弦乐器的发展曾起到了较大的促进作用。在余文的《内蒙古历史概要》中有：“在十二至十三世纪时，乐器及舞蹈艺术已出现了，……有锣、拍板及祭祀时奏的忽兀儿（胡琴）”。《清史稿》载：“胡琴，刳桐为质，二弦，龙首，方柄。槽椭而下锐，冒以革。槽外设木如簪头以扣弦，龙首下为山口，凿空纳弦，绾以两轴，左右各一，以木系马尾八十一茎轧之。”这里将马头琴的前身胡琴的形制详尽地记载下来。明、清两代，这种形式的胡琴在民间广为流传，并用于宫廷乐队中。当年，清世祖爱新觉罗·福临打进察哈尔（今张家口一带），在洗劫烧杀中，竟特意将乐手和几把胡琴留了下来。早期的马头琴，居然在征服者面前有着如此惊人的魔力！
清乾隆年间（1736年—1795年），在胡琴原型的基础上，出现了长琴杆插入倒梯形琴箱、双面蒙皮、马尾弦和马尾弓的蒙古族拉弦乐器朝尔。又经过一百余年的流传和实践，到了20世纪初的民国初年，蒙古族人民才把朝尔的头饰改为马头、琴箱变为上窄下宽的正梯形。至此，朝尔完成了发展的使命，马头琴则开始了新的历史征程。当代我国著名马头琴演奏家齐·宝力高，1979年2月23日在《内蒙古日报》（蒙文版）发表的《马头琴的起源与发展》一文中写道 ：“把龙头改制成马头，大致是俄国十月革命前后，即蒙古人民共和国革命胜利前后。喜欢骏马的我们蒙古民族抛弃了龙头换上马头雕装，充分体现和完全符合我们蒙古族人民的思想感情。由此，现在国内外都统一称之马头琴。”
